Khóa học này tập trung vào việc áp dụng Deep Learning trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP). Học viên sẽ được học các kỹ thuật xử lý văn bản, các mô hình neural network cho NLP, và cách áp dụng chúng vào các bài toán NLP thực tế. Khóa học kết hợp lý thuyết với thực hành, giúp học viên xây dựng các ứng dụng NLP từ cơ bản đến nâng cao..

Nội dung được thiết kế để xây dựng trên nền tảng kiến thức từ khóa học Deep Learning trước đó, đồng thời cung cấp kiến thức chuyên sâu về Deep Learning cho NLP.

Thời lượng: 40 giờ

Sau khi hoàn thành khóa học, học viên có khả năng:

• Nắm vững các kỹ thuật xử lý ngôn ngữ tự nhiên cơ bản và nâng cao
• Hiểu và áp dụng được các mô hình Deep Learning cho NLP như RNN, LSTM, GRU, và Transformer
• Thành thạo việc sử dụng các thư viện NLP phổ biến như NLTK, spaCy, và Hugging Face Transformers
• Có khả năng xây dựng và triển khai các ứng dụng NLP như phân loại văn bản, dịch máy, và tạo sinh văn bản
• Hiểu và áp dụng được các kỹ thuật tiên tiến như Transfer Learning và Fine-tuning trong NLP
• Học viên sẽ được cấp chứng nhận hoàn tất khóa học theo quy định của ITSTARVN.
  

Nội dung khóa học

Cơ sở NLP và Xử lý Văn bản 

• Bài 1: Giới thiệu về NLP và các thách thức 
  • Tổng quan về NLP và ứng dụng
  • Các thách thức trong xử lý ngôn ngữ tự nhiên
  • Giới thiệu các thư viện NLP: NLTK, spaCy
• Bài 2: Tiền xử lý văn bản 
  • Tokenization và Word Segmentation
  • Loại bỏ stopwords và punctuation
  • Stemming và Lemmatization
  • Bài tập thực hành: Xây dựng pipeline tiền xử lý văn bản
• Bài 3: Biểu diễn văn bản 
  • One-hot encoding
  • Bag of Words (BoW) và TF-IDF
  • N-grams
  • Bài tập thực hành: So sánh hiệu quả của các phương pháp biểu diễn văn bản

Word Embeddings và Language Models 

• Bài 4: Word Embeddings 
  • Giới thiệu về Word Embeddings
  • Word2Vec (CBOW và Skip-gram)
  • GloVe và FastText
  • Bài tập: Huấn luyện và trực quan hóa word embeddings
• Bài 5: Các kỹ thuật nâng cao trong Word Embeddings 
  • Subword embeddings
  • Contextual word embeddings (ELMo)
  • Sentence và Document embeddings
  • Bài tập: So sánh hiệu quả của các loại embeddings trong bài toán phân loại văn bản
• Bài 6: Language Models 
  • N-gram Language Models
  • Neural Language Models
  • Ứng dụng của Language Models
  • Dự án mini: Xây dựng một Language Model đơn giản để sinh văn bản

Recurrent Neural Networks cho NLP 

• Bài 7: RNN cơ bản và ứng dụng trong NLP 
  • Kiến trúc RNN và backpropagation through time
  • Vanishing và exploding gradient trong RNN
  • Ứng dụng RNN trong sequence labeling (POS tagging, NER)
• Bài 8: LSTM và GRU 
  • Kiến trúc LSTM và GRU
  • So sánh LSTM, GRU với RNN cơ bản
  • Bidirectional và Multi-layer RNNs
• Bài 9: Seq2Seq và Attention 
  • Kiến trúc Encoder-Decoder
  • Cơ chế Attention
  • Ứng dụng trong Machine Translation và Text Summarization
  • Dự án: Xây dựng mô hình dịch máy đơn giản với Seq2Seq và Attention

Transformer và BERT 

• Bài 10: Kiến trúc Transformer 
  • Self-Attention và Multi-Head Attention
  • Position Encoding
  • Feed-Forward Networks trong Transformer
• Bài 11: BERT và các mô hình tiền huấn luyện 
  • Giới thiệu về BERT
  • Quá trình tiền huấn luyện và fine-tuning
  • Các biến thể của BERT (RoBERTa, DistilBERT, ALBERT)
• Bài 12: Ứng dụng BERT trong các tác vụ NLP 
  • Fine-tuning BERT cho phân loại văn bản
  • Question Answering với BERT
  • Named Entity Recognition với BERT
• Bài 13: Hugging Face Transformers 
  • Giới thiệu về thư viện Hugging Face Transformers
  • Sử dụng pre-trained models
  • Fine-tuning models cho các tác vụ cụ thể
  • Dự án: Xây dựng ứng dụng phân tích sentiment sử dụng BERT và Hugging Face

Các chủ đề nâng cao và xu hướng mới trong NLP 

• Bài 14: Transfer Learning trong NLP 
  • Nguyên lý của Transfer Learning trong NLP
  • Few-shot và Zero-shot Learning
  • Ứng dụng Transfer Learning trong các bài toán NLP thực tế
• Bài 15: Xu hướng mới trong NLP 
  • GPT và các mô hình ngôn ngữ lớn
  • Multimodal Learning trong NLP
  • Ethical AI và Bias trong NLP
  • Thảo luận: Tương lai của NLP và AI